Sinh ra tại La Cañada de San Urbano, Almería, Antonio de Torres là con trai của Juan Torres, một người thu thuế địa phương, và mẹ ông là Maria Jurado. Lúc mới 12 tuổi, ông bắt đầu học nghề thợ mộc. Năm 1833, một cuộc chiến tranh Triều đại nổ ra, và Torres đã sớm nhập ngũ. Nhờ mưu mẹo của cha mình, Antonio đã bị giải ngũ vì không có sức khỏe phù hợp. Vì chỉ có những người đàn ông độc thân và đàn ông góa vợ, không con là đối tượng phải thực hiện nghĩa vụ quân sự, năm 1835 gia đình ép Torres vào một cuộc hôn nhân thu xếp vội vàng với Juana María López, con gái 13 tuổi của một người bán hàng. Họ đã có con sau đó: một cô con gái vào năm 1836, một cô con gái nữa vào năm 1839. Hai người có con gái thứ ba năm 1842, nhưng đã chết vài tháng sau đó. Con gái thứ hai của ông cũng chết yểu. Năm 1845 vợ ông qua đời ở tuổi 23, vì bệnh lao. Đây là những năm khó khăn cho Torres, ông thường xuyên bị nợ nần và buộc phải tìm kiếm các việc làm tốt hơn.